1
近期，創新工場南京人工智能研究院執行院長馮霽做客雷鋒網AI金融評論公開課，以“淺析聯邦學習中的安全性問題”為題，詳盡地講解了聯邦學習的特點、聯邦學習的應用和安全防御對策等內容。
以下為馮霽演講全文內容與精選問答：
今天跟大家簡單的匯報，我們對聯邦學習中安全性問題的思考。
在介紹聯邦學習之前，先簡單介紹一下創新工場。
創新工場，是由李開復博士在2009年創辦的創投機構，經過10余年的發展，在國內外都頗具影響力。
創新工場的特色之一是設立了創新工場人工智能工程院，開創了獨特的VC+AI模式。創新工場人工智能工程院最近針對人工智能系統的安全性和隱私保護方向，做了一點自己的思考，今天和大家做一個簡要的技術上的分享。
人工智能系統的安全性問題
這一波（2015年后）人工智能的興起，使得人工智能逐漸從低風險的應用，比如判斷一封郵件是否是垃圾郵件，轉向了高風險應用，比如自動駕駛、無人機、還有重度依賴人工智能技術的金融投資、投顧等領域。
一旦這些人工智能系統出現了偏差甚至錯誤，它所帶來的損失不僅僅是巨額的財產，還有可能是生命。
但是，一個核心的問題是，人工智能領域涉及到的安全問題，和傳統的軟件工程安全問題，是否存在本質的不同？我們能否繼續使用傳統的攻防工具，對人工智能系統進行安全分析？
這就需要談到軟件1.0和軟件2.0的概念。
我們認為在這一輪的人工智能興起之后，整個軟件工程也產生了一個范式的轉變。
在傳統的軟件工程中，工程師會搭建一個系統，構建一個基于規則的程序，輸入數據后，計算機會給出確定性的輸出。這是軟件1.0時代的特征。
而隨著這一波人工智能的興起，誕生了一個新的軟件工程開發范式，程序是由數據驅動的方式，利用人工智能算法自動產生的，這從軟件工程角度來看，是一個相當本質的改變，有人稱之為軟件2.0時代。
因此，在軟件工程1.0時代的一系列安全分析，漏洞分析的手段，到了軟件2.0時代不再適用。軟件工程范式的改變，帶來了全新的安全問題。
目前針對人工智能系統的攻擊，可以分成兩大類。一類是測試階段攻擊，一類是訓練階段攻擊。
測試階段攻擊
訓練階段攻擊發生在AI模型訓練之前，測試階段攻擊針對是已訓練好的AI模型。我們先看測試階段攻擊。
測試階段的攻擊，大家見的最多的一類，也對抗樣本。
左邊的這張圖拍的是大熊貓的照片，當攻擊者知道這個圖像分類模型的所有參數后，就可以根據模型的參數，精心設計出干擾“噪聲”（中間的圖）。
把噪聲疊加在左圖，形成右圖。雖然我們用肉眼看到的右圖和左圖一模一樣，但圖像分類模型會把右圖的熊貓錯認為另一種生物。這個過程就是所謂的對抗樣本攻擊。
對抗樣本不僅僅可用于電腦儲存的數字圖像，還可以應用在真實的物理環境中。
比如對交通的路牌做微小的改動，就可能讓自動駕駛汽車在行駛過程中因為不能正確識別，而做出錯誤的行動。再比如用3D打印技術設計出一只烏龜，在烏龜的紋理上做對抗樣本的疊加，模型會認為這是一個其他物種。
對抗樣本并不神秘，學術界認為它攻擊原理的本質就是由于我們的輸入樣本在一個非常高維的空間中。而通過機器學習模型學習出來的決策邊界，在高維空間中是高度非線性的。
對抗樣本在這些高度非線性的角色邊界附近產生了一個擾動，擾動就會讓模型從分類一誤判為分類二（如上圖）。但它們在視覺上很難區分。
剛才講的對抗樣本，從另一個角度來看，是白盒攻擊。意思是攻擊者需要提前知道AI模型的所有參數信息。
黑盒攻擊，是另一種測試階段攻擊，攻擊者對指定模型的參數未知，只知道模型的輸入輸出，這種情況下依舊想產生特定的對抗樣本，很明顯黑盒攻擊的難度更大。
怎樣才能讓黑盒攻擊，做到和白盒攻擊一樣的效果呢？對此，目前常見的攻擊思路有兩大方向：
黑盒攻擊的第一大方向，是利用對抗樣本的普適性。
雖然準備攻擊的對象的模型和參數不知道，但是我們可以找一個已知的模型，比如說VGG，或者ResNet（殘差網絡），來做一個對抗樣本。
我們的核心假設是如果這個對抗樣本能哄騙已知的模型，也就能哄騙云端（黑盒）的分類器， 2016年有人做過一個的工作，用不同的神經網絡架構產生相應的對抗樣本，去哄騙其他的結構。實驗的結果證明了，這個假設是合理的。
怎樣加強這種對抗樣本的普適性？
首先是在訓練替代模型時，對數據進行增廣，其次是利用集成方法，如果它能成功的攻擊多個已知的白盒的模型的集成，那么攻擊一個黑盒的API，成功率就會高一些。
黑盒攻擊的第二個方向，是基于查詢的逆向猜測，目前有一些云服務，返回時顯示的不僅僅是一個標簽，還包括了某一個類別的概率的分布的向量。
這個分布向量包含了關于模型本身非常多的知識。我們可以讓這個模型標注足夠多的樣本，然后訓練一個本地模型，模擬云端模型的行為。由于本地模型是白盒的，利用現有白盒攻擊算法，針對本地模型產生對抗樣本，再由于普適性，該樣本對云端黑盒模型往往同樣有效。
這件事情的關鍵，是訓練一個本地的模型，該模型能夠模仿黑盒模型的行為。有點像吸星大法。學術界Hinton等人提出的知識蒸餾，以及更早的周志華教授提出的二次學習，本質都是在干這件事情。
我們也可以用遺傳算法，改變輸入樣本的像素的值，每次改變一點點，就訪問一下云端的API。用這種方式，我們就能慢慢地收到一個可以哄騙云端的對抗樣本。
訓練階段攻擊
剛剛講的，是測試階段攻擊。下面講，訓練階段攻擊。
訓練階段攻擊，發生在模型產生之前。比如說經典的訓練階段攻擊是數據下毒，目標是改動盡可能少的訓練數據，使得訓練后的模型，在干凈測試集上表現盡可能差。
最近我們和南大周志華教授合作，提出了一個新的范式，我們叫毒化訓練（參見Learning to Confuse: Generating Training Time Adversarial Data with Auto-Encoder，In NeurIPS 19）要求對每個樣本盡可能小的擾動（注意數據下毒是盡可能少的樣本進行編輯），使得訓練后的模型，在干凈測試集上表現盡可能差。
毒化訓練，從流程來看就是這樣，針對一個訓練集，需要用一個函數在訓練集上做某種程度上的擾動。
然后任意一個模型，在毒化后的訓練集上做完訓練后，它在面臨一個干凈的測試樣本的時候，每次的預測都是錯誤。
那么這里的關鍵就是如何得到下毒的函數g，在Deep Confuse這篇文章中，我們用了一類特殊自編碼器。自編碼器是非常經典的，從輸入到同輸入空間中的映射。去噪自編碼器，能做到噪音樣本經過編碼和解碼這兩個步驟，把原始有噪音的樣本去噪。
這個算法把去噪自編碼器逆向使用，讓自編碼器學習出如何增加毒化噪聲（而不是降噪）。
這里就涉及到了算法的第二個核心思想：
我們需要同時訓練一個假想的分類器和一個我們想要的加噪自編碼器。通過記錄假想分類器在訓練過程中更新的軌跡，反向的更新毒化噪聲器的參數。
舉例來說，我們觀察一個人學習的過程，然后根據這個人學習書本的軌跡，修改書本的知識。我最終希望他學完這本書后，每學一步都是錯的，每一步我們都稍微修改了一點點。通過劫持一個正常分類器的學習軌跡，我們教會了加噪自編碼器如何下毒。
效果是明顯的，如上圖所示，abc中的三張圖，第一行都是原圖，第二行都是毒化后的圖片，從視覺上看，我們很難看出不同。
但是對于分類器來說，在毒化后的數據集上訓練的分類器，面臨干凈樣本的時候，正確率降低到了完全不可用，正常圖像數據基本都不能正確的被識別。
毒化樣本也存在普適性，我們針對于不同的網絡架構（VGG、ResNet、Dense）做了一些實驗。
這三個不同的網絡架構，在相同的毒化訓練集上，預測準確度都會有一個非常明顯的下降。
當然，毒化訓練，不是只能干壞事，它也能做好事。
毒化訓練，可以用來保護公司的知識產權。比如醫院，如果想去發布一些訓練集，但又擔心第三方用發布后的數據進行商業活動。作為數據的發布方，可以將想要發布的訓練集毒化，讓第三方不能隨意對這些數據進行商業運作。
下面講聯邦學習。
聯邦學習，我的理解是，他本質上是下一代分布式機器學習系統。它本質上是一個分布式的架構，在這種分布式的架構下，它具備傳統分布式平臺不具備的隱私保護的功能。
聯邦學習有三個顯著特點。
第一個特點是剛才提到的隱私保護。由于訓練數據不會出本地，聯邦學習滿足歐盟的GDPR法案（通用數據保護條例）等各類隱私。
第二個特點是端部定制。
聯邦學習在邊緣計算中前景巨大。
根據聯邦學習算法的特點，我們如果在邊緣計算的過程中，比如說我們在可穿戴的醫療設備中，這個模型不僅保護了本地數據，跟云端的大模型相比，它還自適應的去滿足基于本地數據的個性化需求。每個人對醫療設備的需求是不一樣的，我們可以根據不同數據的輸入分布，做一個端部的定制化。這非常具有商業價值。
第三個特點是大家熟悉的協同合作，在不同機構之間，比如一家電商網站和一家銀行之間的合作。在聯盟學習沒有推出之前，這件事情可能在技術上不可行，而在聯邦學習推出之后，這件事情可以做到。
聯邦學習的應用可分成四大類。
第一，是基于政府的聯邦學習應用。這類應用主要是因為法律法規或者政策性的要求，催生的AI服務。
第二類，是基于企業的聯邦學習應用。部分大型機構內部之間的數據不能進行直接的交換。
第三類，消費端的聯邦學習應用，更多的是針對于邊緣計算或者定制化。
2C端，更多和邊跟邊緣計算有關；而2B端，更強調聯邦學習的協同能力。
當然也可以做把2B、2C混合著做，統稱混合型聯邦學習應用。
在聯邦學習的分布式場景下，安全的問題更加需要研究，因為攻擊者攻擊的可能更多。
比如攻擊者所了解的先驗知識會更多，要么是知道某一方的數據，要么知道某一方的模型。不需要知道所有方的數據和模型，攻擊者就能做出攻擊。
攻擊者的目的也更為多樣，他可能只針對于某一方進行攻擊，也可能把整個聯邦后的結果都進行攻擊。不管如何，被攻擊者所面臨的場景矩陣都會更加復雜。
針對聯邦學習的攻擊的方式可以分為三類。
第一類是黑/白盒攻擊，攻擊者獲得模型參數（白盒），或者通過API進行訪問（黑盒）。黑/白盒攻擊具有普適性，和聯邦學習關系較小。剛才提到的各類黑盒白盒攻擊，在聯邦學習場景下依舊適用。
第二類是信道攻擊。
如果攻擊者侵入了訓練過程中的通信系統，他只能夠監聽到本地的小模型跟中央的Server之間的梯度更新的信號，我們能不能做一些事情？
上圖基于對抗生成網絡，如果你有相應的梯度更新的方向，這篇工作告訴我們，目前技術上能夠高保真的還原出對應的樣本。怎么防御呢？
目前，我們已經有了的防御方案，比如對梯度參數信息進行同態加密，能夠以非常高的概率防御這一類的信道攻擊。
最后一類是數據攻擊，也就是剛才提到的毒化訓練，數據下毒。
聯邦學習場景下，毒化訓練的核心問題是，僅僅毒化個別數據庫（而不是所有數據），是否可以依舊破壞模型的準確度？
例如如果我們只得到了30%的數據，毒化訓練的算法有沒有效，需要實驗驗證。
在多方聯邦學習場景下，我們用CIFAR10的數據來分別毒化不同比例的本地數據庫，觀測毒化的效果。
如上圖顯示，不管是兩方學習、三方學習還是四方學習，不管我們攻擊了一方、兩方、三方還是把所有數據都攻擊，性能都會降低。
當然你攻擊的聯邦學習的參與方越多，攻擊的成功率和攻擊的顯著性就會越高。
安全防御，是一件非常困難的事情。
做一個壞人很容易，做好人卻很難。壞人，只需要攻擊一個點，攻擊成功了，攻擊的算法就有效。如果做防御，你需要對所有潛在的攻擊都做保護。
我簡單介紹三類不同的防御思路。
第一類就是剛才提到的，基于信道的攻擊。用同態加密或者多方安全計算，能夠解決信道攻擊。
第二種思路，即魯棒性機器學習。其實在深度學習之前，學術界就有非常大量的魯棒性機器學習研究。
第三種思路是對抗訓練和聯邦對抗訓練。
對抗訓練是魯棒性機器學習的一個分支。對于每一個樣本點，在圍繞這個樣本點的附近，都能夠有一個非常好的性能。通過這種方式來避開在高維空間決策邊界中樣本的一些擾動。在聯盟學習場景下，我們仍然需要開發一些新的、可以規模化的對抗訓練算法。
目前對抗訓練是一個非常好的技術，但是它在面臨海量訓練集的任務的時候，很難形成規模化。這是我們從算法上設計更好實現安全防御的三種對策。
時間有限，今天就和大家介紹這么多，謝謝。
互動問答精選
Q1: 為什么說毒化后的樣本，可以防止成為不好的用途？
馮霽：當你把要發布的數據進行某種程度上的毒化，第三方因為不知道你如何毒化的，所以他就沒有辦法拿你的數據做你不想讓他去做的一些場景和商業落地行為。
Q2: 為什么四方學習的原始數據，準確度比兩方的低很多。
馮霽：下毒的訓練集越少，沒有毒的訓練集越多，下毒的能力就越少。
最極端的例子是，如果你有100萬個樣本，你只改了一個樣本，訓練之后，你對模型的操控的能力跟操控的幅度就會更小。
Q3: 最近有銀行和醫療公司泄露數據的情況發生，聯邦學習現在的成熟度，足夠應對這些情況嗎？
馮霽：泄露數據的原因比較多，聯邦學習是能夠從算法上和技術上防止數據的泄漏。
如果因為業務方本身或者其他原因導致的數據泄露，那么這就不是一個技術問題，也就不是聯邦學習所能夠解決的領域和范疇了。
Q4：原始數據是指毒化前的數，如何應對非iid場景下的毒化攻擊。
馮霽：在iid場景下進行毒化攻擊，都很難。毒化攻擊這件事情本身和這個樣本是不是iid沒有多大關系。
只能說，如果樣本是iid的話，對于一些分類任務它是能更好毒化的。
Q5: 聯邦學習和區塊鏈有什么不一樣？
馮霽：不太一樣。
聯邦學習更多的是一個分布式的機器學習平臺，而區塊鏈更多的是在做一個去中心化的、可靠且不受干擾的信任機制。
Q6: 無人車怎樣防范錯誤的識別圖像？
馮霽：有人專門做過實驗，檢驗目前商用的無人車是否能識別毒化后的數據或者圖片。
當我們把路牌的進行處理會發現，目前現有的、比較成熟的無人車視覺系統都會做出相應的誤判。
無人車公司需要在這一類高風險模型的訓練過程中利用到對抗訓練，增強模型的魯棒性。
Q7: 聯邦學習會導致隱私泄露嗎？
馮霽：聯邦學習是一個保護隱私的、分布式的機器學習平臺。在這個框架下，我們可泄露的東西非常少。
當參數被加過密，信道在通信的過程中，也是監聽無效的。我覺得唯一需要注意的是剛才提到的毒化訓練。
聯邦學習的數據不僅僅要不能出獄，同時在不出獄的同時，你還要保證別人也不能看到。
如果你的數據在不出獄的前提下，能夠被第三方進行某種程度的修改，那么這也能給這個系統帶來隱患。
Q8: 如何平衡聯邦學習的效率和安全？
馮霽：這其實是一個商業問題。
我們希望在未來，能夠在可異性和隱私保護之間尋求一個平衡點。
這個平衡點，我們認為跟產品本身有關。
有的產品是受到法律強制性約束的，它基本上是是沒有可平衡余地的。
對于不受法律嚴格約束的應用場景，我們認為應該把這個選擇的權利交給用戶。
用戶想要一個更強的隱私保護，效益就會差一些；用戶希望效率更高，那么隱私的保護可能就會弱一些。這個選擇的權利不應該只讓產品經理決定，而更應該交給用戶。（雷鋒網）
雷鋒網
雷峰網原創文章，未經授權禁止轉載。詳情見轉載須知。
